Classmethod AI Talks(CATs)の第1回「Zennへのスパム投稿が急増したのでLLMでなんとかした話」で登壇しました
2024.09.20新規事業部Zennチームの@dyoshikawaです。
Classmethod AI Talks(CATs)の第1回「Zennへのスパム投稿が急増したのでLLMでなんとかした話」で登壇しました。
登壇資料
Classmethod AI Talks(CATs)について
クラスメソッド株式会社では、長らく自社ブログ『DevelopersIO』に於いて様々なアウトプットを行ってきました。最近は生成AIについても積極的な情報発信を行っており、読者の皆様から色々な反響、反応を頂いています。
そんな中で、生成AIに興味関心をお持ちの方々とより積極的なやり取り、交流を行いたいと思い、この度「クラスメソッド発」の生成AIコミュニティを立ち上げることにしました。
なお、コミュニティ名の中に「Classmethod」と入っていますが、クラスメソッド側からの発信だけではなく、参加者の皆様との相互コミュニケーションを図っていければと考えています。
生成AIに興味関心をお持ちの方、生成AIについて色々語りたい！という方の参加をお待ちしています。
登壇内容の概要
本登壇では、Zennプラットフォームにおけるスパム投稿の急増問題とその対策として導入したLLM（生成AI）を活用した自動検出システムについて説明いたしました。
以下に概要を紹介します。
課題の背景
- 2024年6月頃からスパム投稿が急増
- 少人数で開発・運用を行っており、人力では対処が困難
LLMの選定
- Google Cloud Vertex AIプラットフォームの利用
- Gemini 1.5 Proモデルの選定理由と比較検討プロセス
プロンプトの調整・構成の検討
- プロンプトの調整と検証プロセス
- Ruby on Railsを用いたシステム構築
- Cloud Schedulerを使用した定期的な巡回
段階的な本番導入
- リスクを最小化しつつ、早期フィードバックを得るアプローチ
- 対象期間や対象コンテンツを絞った導入から始め、徐々に拡大
結果
- スパム検出件数が3000%増加
- スパム疑い投稿を約80〜90%削減見込み
- 月間140時間相当の運用工数を削減
今後の展望
- プロンプトの継続的な最適化
- 他の領域へのLLM応用の検討
